EDA(exploratory data analysis)¶
World Bank에서 발표한 세계 여러 나라의 각종 지표 데이터를 이용하여 EDA를 진행했습니다.
- 각 나라의 인구, GDP, 출산률, 사망률, 문맹률, 영아사망률 등의 정보가 담긴 데이터
0. 라이브러리, 데이터 준비¶
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import plotly.graph_objects as go
import plotly.express as px
import plotly.io as pi
import seaborn as sns
wb_df = pd.read_csv("data.csv")
1. 데이터 살펴보기¶
1) 각 컬럼의 내용¶
df.dtypes
2) 전체적인 데이터 개요 확인¶
wb_df[wb_df["Country Name"] == "Afghanistan"]
각 국가별로 1960년부터 2020년까지 데이터가 주어지되, 년도마다 결측치를 갖는 컬럼이 각각 다른 것으로 보인다. 검증하고자 하는 가설에서 필요한 컬럼의 결측치가 없는 해를 골라 가설을 검증해야 할 듯 보인다.
2. 가설 수립¶
1) 각 컬럼 사이 상관계수 확인¶
wb_df.corr()["Mortality rate, infant (per 1,000 live births)"]
plt.figure(figsize=(15, 15))
sns.heatmap(wb_df.corr())
plt.show()
2) 상관계수에 따른 가설 세우기¶
- Access to electricity (% of population): 전기 사용가능 인구 비율
- Birth rate, crude (per 1,000 people): 인구 1000명당 출생률(1년간의 총 출생아수를 당해년도의 총인구로 나눈 수치)
- 상관관계: -0.861408
- 전기 사용가능 인구 비율이 낮을수록 출생률이 높을 것이다.
- CPIA gender equality rating (1=low to 6=high): CPIA(세계은행의 국가 정책·제도 평가보고서)에 따른 성평등 등급
- 상관관계: 0.346363
- 전기 사용가능 인구 비율이 높을수록 CPIA 성평등 등급이 높을 것이다.
- Employment in agriculture (% of total employment) (modeled ILO estimate): 전체 노동인구 중 농업 종사자 비율
- 상관관계; -0.830018
- 전기 사용가능 인구 비율이 낮을수록 농업 종사자 비율이 높을 것이다.
- GDP per capita (current US$): 1인당 GDP
- 상관관계: 0.407089
- 전기 사용가능 인구 비율이 높을수록 1인당 GDP가 높을 것이다.
- Literacy rate, adult total (% of people ages 15 and above): 15세 이상 문해율
- 상관관계: 0.828068
- 전기 사용가능 인구 비율이 높을수록 문해율이 높을 것이다.
- Mortality rate, infant (per 1,000 live births): 영아사망률
- 상관관계: -0.863026
- 전기 사용가능 인구 비율이 낮을수록 영아사망률이 높을 것이다.
- Rural population (% of total population): 농촌인구비율
- 상관관계: -0.675092
- 전기 사용가능 인구 비율이 낮을수록 농촌인구비율이 높을 것이다.
- Birth rate, crude (per 1,000 people): 인구 1000명당 출생률(1년간의 총 출생아수를 당해년도의 총인구로 나눈 수치)
- Birth rate, crude (per 1,000 people): 인구 1000명당 출생률(1년간의 총 출생아수를 당해년도의 총인구로 나눈 수치)
- CPIA gender equality rating (1=low to 6=high): CPIA(세계은행의 국가 정책·제도 평가보고서)에 따른 성평등 등급
- 상관관계: -0.486804
- 출생률이 낮을수록 CPIA 성평등 등급이 높을 것이다.
- Employment in agriculture (% of total employment) (modeled ILO estimate): 전체 노동인구 중 농업 종사자 비율
- 상관관계: 0.766902
- 출생률이 높을수록 농업 종사자 비율이 높을 것이다.
- GDP per capita (current US$): 1인당 GDP
- 상관관계: -0.508999
- 출생률이 낮을수록 1인당 GDP가 높을 것이다.
- Literacy rate, adult total (% of people ages 15 and above): 15세 이상 문해율
- 상관관계: -0.841121
- 출생률이 낮을수록 문해율이 높을 것이다.
- Mortality rate, infant (per 1,000 live births): 영아사망률
- 상관관계: 0.851877
- 출생률이 높을수록 영아사망률이 높을 것이다.
- Rural population (% of total population): 농촌인구비율
- 상관관계: 0.682261
- 출생률이 높을수록 농촌인구비율이 높을 것이다.
- CPIA gender equality rating (1=low to 6=high): CPIA(세계은행의 국가 정책·제도 평가보고서)에 따른 성평등 등급
- CPIA gender equality rating (1=low to 6=high): CPIA(세계은행의 국가 정책·제도 평가보고서)에 따른 성평등 등급
- Literacy rate, adult total (% of people ages 15 and above): 15세 이상 문해율
- 상관관계: 0.488863
- 성평등등급이 높을수록 문해율이 높을 것이다.
- Mortality rate, infant (per 1,000 live births): 영아사망률
- 상관관계: -0.452092
- 성평등등급이 낮을수록 영아사망률이 높을 것이다.
- Literacy rate, adult total (% of people ages 15 and above): 15세 이상 문해율
- Employment in agriculture (% of total employment) (modeled ILO estimate): 전체 노동인구 중 농업 종사자 비율
- GDP per capita (current US$): 1인당 GDP
- 상관관계: -0.603409
- 농업 종사자 비율이 낮을수록 1인당 GDP가 높을 것이다.
- Literacy rate, adult total (% of people ages 15 and above): 15세 이상 문해율
- 상관관계: -0.750526
- 농업 종사자 비율이 낮을수록 문해율이 높을 것이다.
- Mortality rate, infant (per 1,000 live births): 영아사망률
- 상관관계: 0.802073
- 농업 종사자 비율이 높을수록 영아사망률이 높을 것이다.
- Rural population (% of total population): 농촌인구비율
- 상관관계: 0.799293
- 농업 종사자 비율이 높을수록 농촌인구비율이 높을 것이다.
- GDP per capita (current US$): 1인당 GDP
- GDP per capita (current US$): 1인당 GDP
- Literacy rate, adult total (% of people ages 15 and above): 15세 이상 문해율
- 상관관계: 0.418514
- 1인당 GDP가 높을수록 문해율이 높을 것이다.
- Mortality rate, infant (per 1,000 live births): 영아사망률
- 상관관계: -0.432281
- 1인당 GDP가 낮을수록 영아사망률이 높을 것이다.
- Rural population (% of total population): 농촌인구비율
- 상관관계: -0.480503
- 1인당 GDP가 낮을수록 농촌인구비율이 높을 것이다.
- Literacy rate, adult total (% of people ages 15 and above): 15세 이상 문해율
- Literacy rate, adult total (% of people ages 15 and above): 15세 이상 문해율
- Mortality rate, infant (per 1,000 live births): 영아사망률
- 상관관계: -0.842399
- 문해율이 낮을수록 영아사망률이 높을 것이다.
- Rural population (% of total population): 농촌인구비율
- 상관관계: -0.660029
- 문해율이 낮을수록 농촌인구비율이 높을 것이다.
- Mortality rate, infant (per 1,000 live births): 영아사망률
- Mortality rate, infant (per 1,000 live births): 영아사망률
- Rural population (% of total population): 농촌인구비율
- 상관관계: 0.674677
- 영아사망률이 높을수록 농촌인구비율이 높을 것이다.
- Rural population (% of total population): 농촌인구비율
다음과 같이 총 8개의 컬럼 사이에 0.3 이상 양 또는 음의 상관관계가 있음을 확인했다.
- Access to electricity (% of population)
- Birth rate, crude (per 1,000 people)
- CPIA gender equality rating (1=low to 6=high)
- Employment in agriculture (% of total employment) (modeled ILO estimate)
- GDP per capita (current US$)
- Literacy rate, adult total (% of people ages 15 and above)
- Mortality rate, infant (per 1,000 live births)
- Rural population (% of total population)
cutted_df = wb_df[["Country Name", "year", "Access to electricity (% of population)", "Birth rate, crude (per 1,000 people)", "CPIA gender equality rating (1=low to 6=high)", "Employment in agriculture (% of total employment) (modeled ILO estimate)", "GDP per capita (current US$)", "Literacy rate, adult total (% of people ages 15 and above)", "Mortality rate, infant (per 1,000 live births)", "Rural population (% of total population)","Population, total"]]
cutted_df = cutted_df.sort_values("year", ascending=True)
3. 가설 검증¶
1) 농업종사자 비율이 낮을수록 1인당 GDP가 높을 것이다¶
- 먼저, 결측치를 제거한다.
nadropped_df = cutted_df[(cutted_df["GDP per capita (current US$)"].isna() == False) & (cutted_df["Employment in agriculture (% of total employment) (modeled ILO estimate)"].isna()==False) & (cutted_df["Population, total"].isna()==False)]
- 년도별로 변화를 관찰할 수 있는 그래프를 그린다.
fig = px.scatter(nadropped_df,x="Employment in agriculture (% of total employment) (modeled ILO estimate)", y="GDP per capita (current US$)",
animation_frame="year", size="Population, total", animation_group="Country Name", hover_name="Country Name", size_max=60,
range_x=[0, 100], range_y=[100, 130000], log_y=True
)
fig.show()
년도를 가리지 않고 농업종사자 비율이 낮을수록 1인당 GDP가 높은 경향이 나타나는 것을 확인할 수 있다.
2) 문해율이 낮을수록 영아사망률이 높을 것이다.¶
- 먼저, 결측치를 제거한다.
nadropped_df = cutted_df[(cutted_df["Literacy rate, adult total (% of people ages 15 and above)"].isna() == False) & (cutted_df["Mortality rate, infant (per 1,000 live births)"].isna()==False) & (cutted_df["Population, total"].isna()==False)]
nadropped_df = nadropped_df[["year", "Country Name", "Literacy rate, adult total (% of people ages 15 and above)", "Mortality rate, infant (per 1,000 live births)", "Population, total"]]
nadropped_df.head(5)
- 위 데이터의 경우 어떤 해는 3개 국가의 지표만 존재하여 경향을 확인하기 어려운 문제가 있다. 이를 위하여 데이터에서 각 년도별로 데이터가 20개 이하인 해는 아예 연도 데이터를 삭제한다.
nadropped_df.groupby("year").count()
- 1990년부터 그래프를 그리는 것이 적절한 듯 보인다.
nadropped_df = nadropped_df[nadropped_df["year"] >= 1990]
- 년도별로 변화를 관찰할 수 있는 그래프를 그린다.
fig = px.scatter(nadropped_df,y="Mortality rate, infant (per 1,000 live births)", x="Literacy rate, adult total (% of people ages 15 and above)",
animation_frame="year", size="Population, total", animation_group="Country Name", hover_name="Country Name", size_max=30,
range_x=[0, 100], range_y=[0, 200]
)
fig.show()
년도를 가리지 않고 문해율이 낮을수록 엳아사망률이 높은 경향이 나타나는 것을 확인할 수 있다.
3) 출생률이 낮을수록 성평등 등급이 높을 것이다.¶
- 먼저, 결측치를 제거한다.
nadropped_df = cutted_df[(cutted_df["Birth rate, crude (per 1,000 people)"].isna() == False) & (cutted_df["CPIA gender equality rating (1=low to 6=high)"].isna()==False)& (cutted_df["Population, total"].isna()==False)]
- 년도별로 변화를 관찰할 수 있는 그래프를 그린다.
fig = px.scatter(nadropped_df,y="CPIA gender equality rating (1=low to 6=high)", x="Birth rate, crude (per 1,000 people)",
animation_frame="year", animation_group="Country Name", size="Population, total",hover_name="Country Name", size_max=30,
range_x=[5, 60], range_y=[0, 7]
)
fig.show()
년도를 가리지 않고 출생률이 낮을수록 성평등 등급이 높은 경향이 나타나지만 그 경향이 그리 강하지는 않음을 확인할 수 있다.